On the dynamic adaptation of Computer Assisted Assessment of free-text answers

The final publication is available at Springer via http://dx.doi.org/10.1007/11768012_54Proceedings of 4th International Conference, AH 2006, Dublin, Ireland, June 21-23, 2006.To our knowledge, every free-text Computer Assisted Assessment (CAA) system automatically scores the students and gives feedback to them according to their responses, but, none of them include yet personalization options. The free-text CAA system Atenea [1] had simple adaptation possibilities by keeping static student profiles [2]. In this paper, we present a new adaptive version called Willow. It is based on Atenea and adds the possibility of dynamically choosing the questions to be asked according to their difficulty level, the students’ profile and previous answers. Both Atenea and Willow have been tested with 32 students that manifested their satisfaction after using them. The results stimulate us to continue exploiting the possibilities of incorporating dynamic adaptation to free-text CAA.This work has been sponsored by Spanish Ministry of Science and Technology, project number TIN2004-0314

¿Pueden los ordenadores evaluar automáticamente preguntas abiertas?

Tradicionalmente la sección de evaluación de la mayoría de los cursos on-line se basaba únicamente en preguntas de elección múltiple. Sin embargo, según la opinión generalizada de muchos investigadores, educadores y psicólogos restringirse exclusivamente a preguntas cerradas no permite evaluar completamente las habilidades cognitivas de los estudiantes. Esto ha tenido como consecuencia la creación del campo conocido como Evaluación Automática de preguntas abiertas. Lo que se plantea en este artículo es si realmente funciona. Esto es, ¿cuán fiable es un ordenador como evaluador automático de respuestas en texto libre escritas por estudiantes? Para dar respuesta a este interrogante hemos revisado la historia de este campo y visto como en los últimos años, estos sistemas han empezado a usarse como comprobadores de las notas puestas por los profesores, para asegurar una correcta evaluación. En todo caso no se puede olvidar que los ordenadores (al menos por ahora) no son más que máquinas sin sentido común ni inteligencia propia, lo que les impide enfrentarse con éxito a respuestas demasiado originales que quizás estén bien pero se salen de lo comúnmente establecido como correcto. El desafío está propuesto y, en nuestra opinión, mantener los objetivos realistas será lo que consiga que este campo avance, con paso firme, despejando cualquier incertidumbre sobre su validezEste trabajo ha sido financiado por el proyecto TIN2004-0314 del Ministerio de Educación y Ciencia español

Adapting an educational tool to be used by non-severe cognitive disabled students

Also published online by CEUR Workshop Proceedings (CEUR-WS.org, ISSN 1613-0073)Proceeding of Towards User Modeling and Adaptive Systems for All (TUMAS-A 2009): Modeling and Evaluation of Accessible Intelligent Learning Systems, In conjunction with the 14th International Conference on Artificial Intelligence in Education (AIED 2009) Brighton, United Kingdom, July 6, 2009.Since 2007, we have been using the Will Tools, a set of Blended Learning applications able to automatically assess students’ free-text answers and provide immediate personalized feedback to each student. In this paper, our hypothesis is that these tools can be easily adapted to be used by students with some type of non-severe cognitive impairment. In order to test this hypothesis, we present a procedure to transform the Will Tools into the Will Tools ALADE (the version of the Will Tools designed for students with cognitive disabilities). Moreover, an experiment in which 13 students, some of them with Down syndrome and others type of non-severe mental disabilities, have successfully used the Will Tools ALADE is describedThis work has been sponsored by Spanish Ministry of Science and Technology, project TIN2007-64718

Diseño de Agentes Conversacionales Pedagógicos usando análisis de datos

Pedagogical Conversational Agents are systems or programs that represent a resource and a means of learning for students, making the teaching and learning process more enjoyable. The aim is to improve the teaching-learning process. Currently, there are many agents being implemented in multiple knowledge domains. In our previous work, a methodology for designing agents was published, the result of which was Agent Dr. Roland, the first conversational agent for Early Childhood Education. In this paper, we propose the use of Data Analytics techniques to improve the design of the agent. Two new techniques are applied: KDDIAE, application of (Knowledge Discovery in Databases) to the Data of the Interaction between Agents and Students – Estudiantes in Spanish, and BIDAE (use of Data Analytics to obtain information of agents and students). The use of KDDIAE and BIDAE proves the existence of a fruitful relationship between learning analytics and learning design. Some samples of rules related to learning analytics and design are the following: (Learning Analytics) Children who initially do not know how to solve the exercise, after receiving help, are able to understand  and solve it à (Learning Design) An agent for small children should be able to provide help. In addition, help should be entertaining and tailored to their characteristics because it is a resource that children actually use; or (Learning Analytics) Younger children use more voice interaction à (Learning Design) An agent interface for young children must incorporate voice commands. A complete list of rules related to learning analytics and design is provided for any researcher interested in PCA design. 72 children were able to use the new Dr. Roland after applying the learning analytics-design rules. They reported a 100 % satisfaction as they all enjoyed interacting with the agent.Los Agentes Conversacionales Pedagógicos son sistemas informáticos que facilitan la enseñanza a los estudiantes y un recurso de apoyo para los profesores haciendo el proceso de enseñanza más agradable. El objetivo es mejorar el proceso de enseñanza-aprendizaje. Actualmente, hay muchos agentes que se implementan en múltiples dominios de conocimiento. En nuestro trabajo previo se publicó una metodología para diseñar agentes. Con esta metodología se diseñó el agente Dr. Roland, el primer agente conversacional para Educación Infantil. En este artículo, se propone el uso de técnicas de análisis de datos para mejorar el diseño de Dr. Roland. Se implementan dos técnicas nuevas: KDDIAE, aplicación de KDD (Descubrimiento de Conocimiento en Bases de Datos) a los Datos de Interacción entre Agentes y Estudiantes, y BIDAE (uso de Análitica de Datos para obtener información de la interacción entre Agentes y Estudiantes). El uso de KDDIAE y BIDAE prueba la existencia de la fructífera relación que puede darse entre analítica de aprendizaje y diseño de aprendizaje. Los niños que inicialmente no saben cómo resolver un ejercicio, después de recibir ayuda son capaces de comprender el ejercicio y solucionarlo à (Diseño de Aprendizaje) Un agente para niños pequeños debería poder proporcionar ayuda. Además, la ayuda debería ser entretenida y adaptada a las características de los niños; o (Análitica de Aprendizaje) Los niños pequeños usan más la interacción por voz à (Diseño de Aprendizaje) Una interfaz de agente para niños pequeños debe incorporar la posibilidad de interactuar por voz. En este artículo se proporciona una lista completa que relaciona análitica y diseño de aprendizaje para cualquier investigador que pueda estar interesado en APC. 72 niños pudieron usar el agente mejorado Dr. Roland al implementar las reglas.  Reportaron un 100 % de satisfacción, ya que todos disfrutaron de la interacción con el agente

Adaptive computer assisted assessment of free-text students' answers: an approach to automatically generate students' conceptual models

Tesis doctoral inédita. Universidad Autónoma de Madrid, Escuela Politécnica Superior, mayo de 200

Using automatically generated students' clickable conceptual models for e-tutoring

Supplementary Proceedings of the 16th International Conference on Conceptual Structures (ICCS'08). Toulouse, France, July 7-11, 2008.Also published online by CEUR Workshop Proceedings (CEUR-WS.org, ISSN 1613-0073)Computer methods for evaluating student's knowledge have traditionally been based on Multiple Choice Questions (MCQs) or llin- the-blank exercises, which do not provide a reliable basis upon which to assess student's underlying misconceptions. Because of this lack, we have devised and implemented a procedure for automatically deriving clickable students' conceptual models from their free-text answers. A student's conceptual model can be de ned as a network of interrelated concepts associated with a con dence value that indicates how well each student knows a concept. Several knowledge representation formats are used to show the generated conceptual model to the student. Furthermore, students can click on the concepts to get more information about them. 22 English Studies students are taking advantage of this new resource to review their Pragmatics course. Initial results show that they have found it very useful and claim that it is a good support for their review of the subject.This work has been sponsored by Spanish Ministry of Science and Technology, project number TIN2007-64718

Automatic identification of terms for the generation of students’ concept maps

Proceedings of the 4th International Conference on Multimedia and Information and Communication Technologies in Education, M-icte 2006, held in Seville (Spain) on November 2006Willow, an adaptive multilingual free-text Computer-Assisted Assessment system, automatically evaluates students’ free-text answers given a set of correct ones. This paper presents an extension of the system in order to generate the students’ concept maps while they are being assessed. To that aim, a new module for the automatic identification of the terms of a particular knowledge field has been created. It identifies and keeps track of the terms that are being used in the students’ answers, and calculates a confidence score of the student's knowledge about each term. An empyrical evaluation using the students' real answers show that it is robust enough to generate a good set of terms from a very small set of answers.This work has been sponsored by Spanish Ministry of Science and Technology, project number TIN2004-0314

Automatic assessment of students’ free-text answers underpinned by the combination of a BLEU-inspired algorithm and latent semantic analysis

This is an electronic version of the paper presented at the International Florida Artificial Intelligence Research Society Conference, FLAIRS 2005In previous work we have proved that the BLEU algorithm (Papineni et al. 2001), originally devised for evaluating Machine Translation systems, can be applied to assessing short essays written by students. In this paper we present a comparative evaluation between this BLEU-inspired algorithm and a system based on Latent Semantic Analysis. In addition we propose an effective combination schema for them. Despite the simplicity of these shallow NLP methods, they achieve state-of-theart correlations to the teachers’ scores while keeping the language-independence and without requiring any domain specific knowledge.This work has been sponsored by the Spanish Ministry of Science and Technology, project number TIN2004-03140

Sobre los efectos de combinar Análisis Semántico Latente con otras técnicas de procesamiento de lenguaje natural para la evaluación de preguntas abiertas

Este artículo presenta la combinación de Análisis Semántico Latente (LSA) con otras técnicas de procesamiento del lenguaje natural (lematización, eliminación de palabras funcionales y desambiguación de sentidos) para mejorar la evaluación automática de respuestas en texto libre. El sistema de evaluación de respuestas en texto libre llamado Atenea (Alfonseca & Pérez, 2004) ha servido de marco experimental para probar el esquema combinacional. Atenea es un sistema capaz de realizar preguntas, escogidas aleatoriamente o bien conforme al perfil del estudiante, y asignarles una calificación numérica. Los resultados de los experimentos demuestran que para todos los conjuntos de datos en los que las técnicas de PLN se han combinado con LSA la correlación de Pearson entre las notas dadas por Atenea y las notas dadas por los profesores para el mismo conjunto de preguntas mejora. La causa puede encontrarse en la complementariedad entre LSA, que trabaja a un nivel semántico superficial, y el resto de las técnicas NLP usadas en Atenea, que están más centradas en los niveles léxico y sintáctico.This article presents the combination of Latent Semantic Analysis (LSA) with other natural language processing techniques (stemming, removal of closed-class words and word sense disambiguation) to improve the automatic assessment of students' free-text answers. The combinational schema has been tested in the experimental framework provided by the free-text Computer Assisted Assessment (CAA) system called Atenea (Alfonseca & Pérez, 2004). This system is able to ask randomly or according to the students' profile an open-ended question to the student and then, assign a score to it. The results prove that for all datasets, when the NLP techniques are combined with LSA, the Pearson correlation between the scores given by Atenea and the scores given by the teachers for the same dataset of questions improves. We believe that this is due to the complementarity between LSA, which works more at a shallow semantic level, and the rest of the NLP techniques used in Atenea, which are more focused on the lexical and syntactical levels

Adaptando el diseño y la metodología de uso de un agente conversacional pedagógico de educación secundaria a educación infantil

[ES]Los Agentes Conversacionales Pedagógicos son sistemas educativos interactivos que dialogan con los estudiantes sobre un dominio determinado asumiendo el rol de profesor, estudiante o compañero. Se han usado con buenos resultados en las áreas superiores de enseñanza hasta Educación Primaria. Sin embargo, no se encuentran ejemplos en la literatura del campo sobre su uso en Educación Infantil. En el curso 2014/2015 varios estudiantes de Educación Infantil colaboraron con informáticos para adaptar un Agente Conversacional Pedagógico a dominios inferiores de enseñanza y proporcionaron una primera propuesta de metodología de uso en el aula que fue probada en un caso como se reporta en este artículo